We study a multi-factor block model for variable clustering and connect it to the regularized subspace clustering by formulating a distributionally robust version of the nodewise regression. To solve the latter problem, we derive a convex relaxation, provide guidance on selecting the size of the robust region, and hence the regularization weighting parameter, based on the data, and propose an ADMM algorithm for implementation. We validate our method in an extensive simulation study. Finally, we propose and apply a variant of our method to stock return data, obtain interpretable clusters that facilitate portfolio selection and compare its out-of-sample performance with other clustering methods in an empirical study.
translated by 谷歌翻译
我们建议\ emph {Choquet正则化器}来衡量和管理强化学习的探索水平（RL），并重新重新制定Wang等人的连续时间熵调节的RL问题。（2020年，JMLR，21（198）），其中我们用Choquet正常器代替用于正则化的差分熵。我们通过使汉密尔顿（Jacobi-Bellman方程）得出了问题的jacobi-bellman方程，并在线性 - 季度（LQ）情况下明确求解了汉密尔顿（LQ）（LQ）情况，这是通过静态上一种平均值 - 差异约束的Choquet正常制剂。在LQ设置下，我们为几个特定的Choquet正规化器提供了明确的最佳分布，相反，我们确定了产生许多广泛使用的探索性采样器的Choquet正则化器，例如$ \ epsilon $ - 果岭，指数，统一，统一和高斯。
translated by 谷歌翻译
本文报告了建立在线语言学习工具的进步，以通过使用对话系统作为对话实践伙伴为学习者提供对话体验。我们的系统可以随时适应用户的语言水平。我们还提供自动语法错误反馈，以帮助用户从错误中学习。根据我们的第一个采用者，我们的系统娱乐和有用。此外，我们将为学习技术社区提供有关语言学习和语法校正的大规模对话数据集。我们的下一步是通过使用强化学习算法使我们的系统更适应用户配置文件。
translated by 谷歌翻译
我们研究了Wang等人介绍的熵调查的，探索性扩散过程制定的Q-学习（RL）的Q-学习（RL）的持续时间对应物。 （2020）随着常规（大）Q功能在连续的时间崩溃，我们考虑其一阶近似，并在“（小）Q功能”一词中造成术语。此功能与瞬时优势率函数以及哈密顿量有关。我们围绕时间离散化独立于Q功能开发了“ Q学习”理论。鉴于随机策略，我们通过某些随机过程的martingale条件共同表征了相关的Q功能和价值函数。然后，我们将理论应用来设计不同的参与者批评算法来解决潜在的RL问题，具体取决于是否可以明确计算从Q功能产生的Gibbs测量的密度函数。我们的一种算法解释了著名的Q学习算法SARSA，另一个算法恢复了基于政策梯度（PG）在Jia和Zhou（2021）中提出的基于策略梯度（PG）。最后，我们进行了仿真实验，以将我们的算法的性能与JIA和Zhou（2021）中的PG基算法的性能以及时间消化的常规Q学习算法进行比较。
translated by 谷歌翻译
使用良好形成的书面文本编译了当前可用的语法错误校正（GEC）数据集，将这些数据集的适用性限制为其他域，例如非正式的写作和对话框。在本文中，我们介绍了从开放式Chatbot对话中汲取的新颖平行GEC数据集;此数据集是我们的知识，将第一个GEC数据集定为会话设置。为了演示数据集的实用程序，我们使用注释的数据来微调最先进的GEC模型，从而提高了模型精度的16点。这在GEC模型中特别重要，因为模型精度被认为比GEC任务中的召回更重要，因为误报可能导致语言学习者的严重混乱。我们还提出了一个详细的注释方案，通过对可靠性的影响来排名错误，使我们的数据集两个可重复和可扩展。实验结果表明，我们的数据在提高了GEC模型性能方面的效果。
translated by 谷歌翻译
我们在王等人开发的正规化探索制剂下，研究政策梯度（PG），以便在连续时间和空间中进行加强学习。 （2020）。我们代表值函数的梯度相对于给定的参数化随机策略，作为可以使用样本和当前值函数进行评估的辅助运行奖励函数的预期集成。这有效地将PG转化为策略评估（PE）问题，使我们能够应用贾和周最近开发的Martingale方法来解决我们的PG问题。基于此分析，我们为RL提出了两种类型的演员 - 批评算法，在那里我们同时和交替地学习和更新值函数和策略。第一类型直接基于上述表示，涉及未来的轨迹，因此是离线的。专为在线学习的第二种类型使用了政策梯度的一阶条件，并将其转化为Martingale正交状态。然后在更新策略时使用随机近似并入这些条件。最后，我们通过模拟在两个具体示例中展示了算法。
translated by 谷歌翻译
在非凸优化的背景下，研究Langevin扩散的温度控制问题。这种问题的经典最优控制是Bang-Bang类型，这对错误过于敏感。补救措施是允许扩散探索其他温度值，从而平滑爆炸控制。我们通过一种随机轻松的控制配方来实现这一点，该配方包括温度控制的随机性并规范其熵。我们得出了一个国家相关的截断的指数分布，其可用于在HJB偏微分方程的解决方案方面采样LangeVin算法中的温度。我们对一维基线示例进行数值实验，其中HJB方程可以很容易地解决，以比较算法与三个其他可用算法的性能，以搜索全局最优。
translated by 谷歌翻译
The input and output of most text generation tasks can be transformed to two sequences of tokens and they can be modeled using sequence-to-sequence learning modeling tools such as Transformers. These models are usually trained by maximizing the likelihood the output text sequence and assumes the input sequence and all gold preceding tokens are given during training, while during inference the model suffers from the exposure bias problem (i.e., it only has access to its previously predicted tokens rather gold tokens during beam search). In this paper, we propose MoCa ({\bf Mo}mentum {\bf Ca}libration) for text generation. MoCa is an online method that dynamically generates slowly evolving (but consistent) samples using a momentum moving average generator with beam search and MoCa learns to align its model scores of these samples with their actual qualities. Experiments on four text generation datasets (i.e., CNN/DailyMail, XSum, SAMSum and Gigaword) show MoCa consistently improves strong pre-trained transformers using vanilla fine-tuning and we achieve the state-of-the-art results on CNN/DailyMail and SAMSum datasets.
translated by 谷歌翻译
住房质量是区域财富，安全和健康的重要代理。了解住房质量的分布对于揭示农村发展状况并提供政治建议至关重要。但是，目前的农村房屋质量数据在很大程度上取决于在国家或省级的自上而下，耗时的调查，但未能在村庄一级解开住房质量。为了填补准确描述农村住房质量条件和数据不足之间的空白，我们收集大量的农村图像，并邀请用户按大规模评估其住房质量。此外，提出了一个深度学习框架，以根据众包农村图像自动有效地预测住房质量。
translated by 谷歌翻译
面部反欺骗（FAS）在确保人脸识别系统中起着至关重要的作用。经验上，给定图像，在该图像的不同视图上具有更一致的输出的模型通常更好地执行，如图1所示。通过这种令人兴奋的观察，我们猜想令人鼓舞的特征符合不同视图的一致性可能是提升FAS模型的有希望的方法。在本文中，我们通过增强FAS中的嵌入级和预测级别一致性正规（EPCR）来彻底探讨这种方式。具体地，在嵌入级别，我们设计了密集的相似性损失，以最大化两个中间特征映射的所有位置之间以自我监督的方式;虽然在预测级别，我们优化了两个视图的预测之间的均方误差。值得注意的是，我们的EPCR没有注释，可以直接融入半监督的学习计划。考虑到不同的应用方案，我们进一步设计了五种不同的半监督协议，以衡量半监督的FAS技术。我们进行广泛的实验表明EPCR可以显着提高基准数据集上几个监督和半监控任务的性能。代码和协议即将发布。
translated by 谷歌翻译